2018 LEON

Optimization Methods for Large-Scale Machine Learning

Léon Bottou, Frank E. Curtis, and Jorge Nocedal

SIAM review, Vol. 60, Issue 2 (2018)

この論文では、機械学習アプリケーションのコンテキストにおける数値最適化アルゴリズムの過去、現在、未来についてレビューと解説を提供します。テキスト分類とディープニューラルネットワークのトレーニングに関するケーススタディを通じて、機械学習で最適化問題がどのように発生し、何がそれらを困難にしているのかについて説明します。私たちの研究の主なテーマは、大規模な機械学習は、従来の勾配ベースの非線形最適化手法が通常失敗する一方で、確率的勾配（SG）法が伝統的に中心的な役割を果たしてきた独特の設定であるということです。この観点に基づいて、単純でありながら汎用性の高いSGアルゴリズムの包括的な理論を提示し、その実際の動作について説明し、パフォーマンスが向上したアルゴリズムを設計する機会を強調します。これにより、確率方向のノイズを減らす手法と2次微分近似を使用する手法に関する2つの主要な研究の流れの調査を含む、大規模機械学習の次世代の最適化手法についての議論につながります。